这是Parse2022 Challenge最终结果中第9位的技术报告。我们通过使用基于3D CNN网络的两阶段方法来解决肺动脉的分割问题。粗模型用于定位ROI,并使用精细模型来完善分割结果。此外,为了提高细分性能,我们采用了多视图和多窗口级方法,同时我们采用了微调策略来减轻不一致的标签影响。
translated by 谷歌翻译
多跳的推理需要汇总多个文档来回答一个复杂的问题。现有方法通常将多跳问题分解为更简单的单跳问题,以解决说明可解释的推理过程的问题。但是,他们忽略了每个推理步骤的支持事实的基础,这往往会产生不准确的分解。在本文中,我们提出了一个可解释的逐步推理框架,以在每个中间步骤中同时合并单跳支持句子识别和单跳问题生成,并利用当前跳跃的推断,直到推理最终结果。我们采用统一的读者模型来进行中级跳跃推理和最终的跳跃推理,并采用关节优化,以更准确,强大的多跳上推理。我们在两个基准数据集HOTPOTQA和2WIKIMULTIHOPQA上进行实验。结果表明,我们的方法可以有效地提高性能,并在不分解监督的情况下产生更好的解释推理过程。
translated by 谷歌翻译
超声检查广泛用于甲状腺结节(良性/恶性)的临床诊断。但是,准确性在很大程度上取决于放射科医生的经验。尽管已经研究了甲状腺结节识别的深度学习技术。当前的解决方案主要基于静态超声图像,其时间信息有限,并且与临床诊断不一致。本文提出了一种通过详尽的超声视频和钥匙框架进行详尽的探索来自动识别甲状腺结节的新方法。我们首先提出一个检测 - 定位框架,以自动识别每个超声视频中典型结节的临床密钥框架。根据本地化的键框架,我们为甲状腺结节识别开发了一个钥匙框引导的视频分类模型。此外,我们引入了运动注意模块,以帮助网络关注超声视频中的重要帧,这与临床诊断一致。拟议的甲状腺结节识别框架已在临床收集的超声视频上进行了验证,与其他最先进的方法相比,表现出卓越的性能。
translated by 谷歌翻译
多模式的预训练和知识发现是多模式机器学习中的两个重要研究主题。然而,没有现有的作品试图将知识发现与知识指导的多模式预训练联系起来。在本文中,我们建议将它们统一成一个连续的学习框架以进行相互改进。以图像和文本的开放域单模式数据集为输入,我们将知识图作为支持这两个任务的基础。对于知识发现,使用预训练的模型来识别图表上的跨模式链接。对于模型预训练,将知识图用作指导模型更新的外部知识。这两个步骤是在我们的持续学习框架中迭代执行的。关于知识发现和预训练模型,MS-Coco和FlickR30K的实验结果验证了我们框架的有效性。
translated by 谷歌翻译
Fusing the camera and LiDAR information has become a de-facto standard for 3D object detection tasks. Current methods rely on point clouds from the LiDAR sensor as queries to leverage the feature from the image space. However, people discovered that this underlying assumption makes the current fusion framework infeasible to produce any prediction when there is a LiDAR malfunction, regardless of minor or major. This fundamentally limits the deployment capability to realistic autonomous driving scenarios. In contrast, we propose a surprisingly simple yet novel fusion framework, dubbed BEVFusion, whose camera stream does not depend on the input of LiDAR data, thus addressing the downside of previous methods. We empirically show that our framework surpasses the state-of-the-art methods under the normal training settings. Under the robustness training settings that simulate various LiDAR malfunctions, our framework significantly surpasses the state-of-the-art methods by 15.7% to 28.9% mAP. To the best of our knowledge, we are the first to handle realistic LiDAR malfunction and can be deployed to realistic scenarios without any post-processing procedure. The code is available at https://github.com/ADLab-AutoDrive/BEVFusion.
translated by 谷歌翻译
近年来,在挑战的多跳QA任务方面有令人印象深刻的进步。然而,当面对输入文本中的一些干扰时,这些QA模型可能会失败,并且它们进行多跳推理的可解释性仍然不确定。以前的逆势攻击作品通常编辑整个问题句,这对测试基于实体的多跳推理能力有限。在本文中,我们提出了一种基于多跳推理链的逆势攻击方法。我们将从查询实体开始的多跳推理链与构造的图表中的答案实体一起制定,这使我们能够将问题对齐到每个推理跳跃,从而攻击任何跃点。我们将问题分类为不同的推理类型和对应于所选推理跳的部分问题,以产生分散注意力的句子。我们在HotpotQA DataSet上的三个QA模型上测试我们的对抗方案。结果表明,对答案和支持事实预测的显着性能降低,验证了我们推理基于链条推理模型的攻击方法的有效性以及它们的脆弱性。我们的对抗重新培训进一步提高了这些模型的性能和鲁棒性。
translated by 谷歌翻译
匹配模型对于图像文本检索框架至关重要。现有的研究通常用三重态丢失训练模型,并探索各种策略来检索数据集中的难度负句。我们认为,基于目前的检索的负样品施工方法在数据集的规模中受到限制,因此未能识别每个图像的高难度的负样本。我们提出了我们的裁缝消极句子与歧视和校正(标签-DC),以自动生成合成句作为负样本。标签-DC由掩模和重新填充,以产生具有更高难度的合成负句。为了保持训练期间的困难,我们通过参数共享相互改进检索和生成。为了进一步利用否定句子中的细粒度语义,我们提出了两个辅助任务,即词语歧视和单词校正,以改善培训。在实验中,与当前的最先进模型相比,我们验证了我们对MS-Coco和Flickr30K的模型的有效性,并在进一步的分析中展示了其鲁棒性和忠诚。我们的代码可用于https://github.com/libertfan/tags。
translated by 谷歌翻译
This paper presents a safety-critical locomotion control framework for quadrupedal robots. Our goal is to enable quadrupedal robots to safely navigate in cluttered environments. To tackle this, we introduce exponential Discrete Control Barrier Functions (exponential DCBFs) with duality-based obstacle avoidance constraints into a Nonlinear Model Predictive Control (NMPC) with Whole-Body Control (WBC) framework for quadrupedal locomotion control. This enables us to use polytopes to describe the shapes of the robot and obstacles for collision avoidance while doing locomotion control of quadrupedal robots. Compared to most prior work, especially using CBFs, that utilize spherical and conservative approximation for obstacle avoidance, this work demonstrates a quadrupedal robot autonomously and safely navigating through very tight spaces in the real world. (Our open-source code is available at github.com/HybridRobotics/quadruped_nmpc_dcbf_duality, and the video is available at youtu.be/p1gSQjwXm1Q.)
translated by 谷歌翻译
图形对比度学习(GCL)很普遍,可以解决图形学习任务中的监督短缺问题。已经提出了许多最近使用手动设计的增强技术的GCL方法,旨在在原始图上实施具有挑战性的增强,以产生强大的表示。尽管他们中的许多人都取得了显着的表现,但现有的GCL方法仍然难以提高模型鲁棒性而不会冒失去与任务相关的信息的风险,因为它们忽略了增强引起的潜在因素的事实可能与原始图相吻合,因此更难更难将与任务相关的信息与无关信息区分开。因此,学到的代表性要么是脆弱的,要么不耗尽。鉴于此,我们介绍了对抗性的跨视图图形对比度学习(ACDGCL),该学习遵循信息瓶颈原理以从图形数据中学习最小而充分的表示形式。具体而言,我们提出的模型分别引起增强不变和增强依赖性因素。除了传统的对比损失外,还保证了不同对比度观点的表示的一致性和充分性外,我们还引入了跨视图重建机制来追求代表性删除。此外,对抗视图被添加为对比度损失的第三种观点,以增强模型鲁棒性。我们从经验上证明,我们提出的模型在多个基准数据集上优于图形分类任务上的最先进。
translated by 谷歌翻译
近年来,商业上可用和负担得起的四足动物机器人激增,其中许多平台在研究和行业中都被积极使用。随着腿部机器人的可用性的增长,对这些机器人能够执行有用技能的控制器的需求也是如此。但是,大多数用于控制器开发的基于学习的框架都集中在培训机器人特定的控制器上,该过程需要为每个新机器人重复。在这项工作中,我们引入了一个用于训练四足机器人的广义运动(Genloco)控制器的框架。我们的框架合成了可以部署在具有相似形态的各种四足动物的机器人上的通用运动控制器。我们提出了一种简单但有效的形态随机化方法,该方法在程序上生成了一组训练的模拟机器人。我们表明,通过对这套模拟机器人进行训练,我们的模型获得了更多的通用控制策略,这些策略可以直接转移到具有多种形态的新型模拟和真实世界机器人中,在训练过程中未观察到。
translated by 谷歌翻译